ELVA: Exploring Ranking-Driven Universal Multimodal Retrieval
ELVA：探索排序驱动的通用多模态检索
🧭 通用多模态检索 · 排序驱动强化学习 ★ 深度解读
National Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Xi'an Jiaotong University · MiLM Plus, Xiaomi Inc · Zhongguancun Academy, Beijing, China
用排序驱动强化学习缓解多模态检索模型对比训练中的“粒度盲目”，在复杂查询上提升13.1%
📌 工作参考价值（4 点）
- 排序感知的奖励设计可迁移至推荐 / 搜索重排：将 NDCG 类连续排名奖励与 margin 约束结合，无需人工标注即可在强化学习训练中细化物品间层级关系；在电商多模态搜索、视频推荐重排中可复用该思路优化候选列表的全局次序。
- 生成式 embedding 提取范式增加 RL 探索方差：让 MLLM 先自回归生成输入的文字摘要，再从专用 [RET] token 的隐状态取嵌入，可产生足够的表示方差，支持 GRPO 等策略优化。这一 trick 可直接用于基于 LLM 的语义 ID 生成或 query 改写 RL 训练。
- 平衡负采样策略保障 RL 训练稳定：通过过滤过高相似度的负样 + 混合随机负样，扩大奖励方差并防止过拟合。在召回模型训练或 LLM Ranker 的对齐阶段，该采样思想可提高训练的收敛速度和最终效果。
- 多粒度查询基准 MRBench 的构建方法具有借鉴意义：利用 VL model 自动筛选多粒度属性查询再人工检验，可用于评估自家多模态搜索系统对复杂意图（如“红色连衣裙配银色高跟鞋”）的召回完整性。